R Notebook

install.packages("rpart")

Error in install.packages : Updating loaded packages

library(ROSE)

Loaded ROSE 0.0-3

Nessa atividade você irá usar seus conhecimentos sobre classificação para prever quais candidatos à Câmara de Deputados serão eleitos nas eleições de 2014. De forma específica faremos o seguinte:

1 Há desbalanceamento das classes (isto é, uma classe tem muito mais instâncias que outra)? Em que proporção? Quais efeitos colaterais o desbalanceamento de classes pode causar no classificador? Como você poderia tratar isso? (10 pt.) 2 Treine: um modelo de KNN, regressão logística, uma árvore de decisão e um modelo de adaboost. Tune esses modelos usando validação cruzada e controle overfitting se necessário, considerando as particularidades de cada modelo. (20 pts.) 3 Reporte precision, recall e f-measure no treino e validação. Há uma grande diferença de desempenho no treino/validação? Como você avalia os resultados? Justifique sua resposta. (10 pt.) 4 Interprete as saídas dos modelos. Quais atributos parecem ser mais importantes de acordo com cada modelo? (20 pts.) 5 Envie seus melhores modelos à competição do Kaggle. Faça pelo menos uma submissão. Sugestões para melhorar o modelo: (20 pts.) >> 1 Experimente outros modelos (e.g. SVM, RandomForests e GradientBoosting). >> 2 Experimente balancear as classes, caso estejam desbalanceadas. >> 3 Experimente outras estratégias de ensembles (e.g. Stacking)

Os dados estão neste link: https://www.kaggle.com/c/ufcg-cdp-20182-lab3/data (Links para um site externo)Links para um site externo

Para a entrega envie o link no RPubs e os arquivos .Rmd com o código em R. Para as respostas esperamos explicações textuais e visualizações para cada questão.

Setting up workspace

Loading DATA

Correlation

train.correlation %>% 
  select(-partido,
         -uf,-grau,-sexo) %>%
  na.omit() %>%
  ggcorr(palette = "RdBu",
         color = "grey50",
         label = TRUE, hjust = 1,
         label_size = 3, size = 4,
         nbreaks = 5, layout.exp = 7) +
  ggtitle("Gráfico de correlação eleições 2006")

data in column(s) 'ocupacao', 'situacao' are not numeric and were ignored

We choosed to remove those three categoric variables in order to run the model, otherwise it would take too much time. But for a better result you could let them on the data. And also remove those variable which have strong correlation

In the data would be better replace the NA for the column media, but we choosed replace by zero.

As we can see we have a considerable unbalance

Distribuition

#check classes distribution
prop.table(table(train$situacao))

    eleito nao_eleito 
 0.1346103  0.8653897 

FUTURE PLANS lets create a model and see how is goes whitout balance

accuracy.meas(test_data$situacao, pred.treeimb[,2])

Call: 
accuracy.meas(response = test_data$situacao, predicted = pred.treeimb[, 
    2])

Examples are labelled as positive when predicted is greater than 0.5 

precision: 0.955
recall: 0.949
F: 0.476

roc.curve(test_data$situacao, pred.treeimb[,2], plotit = F)

Area under the curve (AUC): 0.890

Lets balance it

Now the data set is balanced. But, you see that we’ve lost significant information from the sample. Let’s do both undersampling and oversampling on this imbalanced data. This can be achieved using method = “both“. In this case, the minority class is oversampled with replacement and majority class is undersampled without replacement.

table(data_balanced_both$situacao)

nao_eleito     eleito 
       520        480 

p refers to the probability of positive class in newly generated sample.

The data generated from oversampling have expected amount of repeated observations. Data generated from undersampling is deprived of important information from the original data. This leads to inaccuracies in the resulting performance. To encounter these issues, ROSE helps us to generate data synthetically as well. The data generated using ROSE is considered to provide better estimate of original data.

table(data.rose$situacao)

nao_eleito     eleito 
      3842       3780 

2 Treine: um modelo de KNN, regressão logística, uma árvore de decisão e um modelo de adaboost. Tune esses modelos usando validação cruzada e controle overfitting se necessário, considerando as particularidades de cada modelo. (20 pts.)

knn

model.knn

k-Nearest Neighbors 

7622 samples
  17 predictors
   2 classes: 'nao_eleito', 'eleito' 

Pre-processing: centered (30), scaled (30), remove (49) 
Resampling: Cross-Validated (10 fold, repeated 10 times) 
Summary of sample sizes: 6860, 6860, 6860, 6860, 6859, 6860, ... 
Resampling results across tuning parameters:

  k  Accuracy   Kappa    
  5  0.8123328  0.6237207
  7  0.7994626  0.5978499
  9  0.7884023  0.5756242

Accuracy was used to select the optimal model using the largest value.
The final value used for the model was k = 5.

usefull links: http://www.treselle.com/blog/handle-class-imbalance-data-with-r/ https://www.analyticsvidhya.com/blog/2016/03/practical-guide-deal-imbalanced-classification-problems/ https://shiring.github.io/machine_learning/2017/04/02/unbalanced